Mapping the stereotyped behaviour of freely moving fruit flies | Journal of The Royal Society Interface (2014)
Gordon J. Berman, Daniel M. Choi, William Bialek and Joshua W. Shaevitz
https://doi.org/10.1098/rsif.2014.0672
under the terms of the Creative Commons Attribution License http://creativecommons.org/licenses/by/4.0
hl.icon
https://scrapbox.io/files/648555704efab1001ca7a2ba.png
映像データの変換手順
Cannyエッジ検出器(Canny Edge Detector)を用いてハエを背景から分離
回転・リサイズで全ての時間におけるハエの大きさ・向きを統一
分析対象を減らすために主成分分析(principal component analysis; PCA)で次元を削減する(50次元：モードへ)
シンプルに各pixelの時間輝度変化を見て分散が大きいpixelを採用しようとすると上手くいかない
画像に対してラドン変換(Radon transform)を行い、画像を線の集まりに変換して分析する(ちょっと語弊)
姿勢変化を捉えるために、ウェーブレット変換(Wavelet transformation)で各次元をスペクトログラムへ変換
複数の時間スケールで周波数変化を捉えることが出来る
この50モードのスペクトログラムをt-SNE(t-distributed Stochastic Neighbor Embedding)で2次元平面上に表現する
この手法では非線形変換により、高次元での距離関係を低次元で反映するような埋め込みをしている
主成分分析(principal component analysis; PCA)は基本的に"要素同士を離す"変換なのでこれが出来ない
ガウス分布で畳みこんで確率密度関数に変換する
複数のピークが見られ、これはその動物が良く行う姿勢変化と考えることが出来る
時間窓によっては見えない行動も出てくるのでは？
複数周波数帯を同時に見ているからただ時間窓を大きくすればOKでは
Naa_tsure.icon多分ウェーブレット変換(Wavelet transformation)をちゃんと理解できてないので生じる疑問
複数の時間スケールで行動の分離の仕方をかえることは可能か？
Naa_tsure.icon階層的な分類方法もあるらしい
画像の輝度変化を見ていたが、場所によってライティングが変化する野外環境での観察に適応できるのか？
Naa_tsure.icon補正でどうとでもなりそう
人間が理解する上で2次元上にマッピングするのはわかりやすいが、
厳密な分類には次元削減しないでセグメンテーションをした方が良いのでは？
Naa_tsure.icon今回に関してはセグメンテーション手法側の問題
Naa_tsure.icon高次元のセグメンテーションに強い方法もあるらしいが、計算負荷が問題となる
教師なし学習(Unspervised Learning)
ヒルベルト変換(Hilbert transform)
hl.icon
Berman, G. J., Choi, D. M., Bialek, W., & Shaevitz, J. W. (2014). Mapping the stereotyped behaviour of freely moving fruit flies. Journal of The Royal Society Interface, 11(99), 20140672.
#2023/6/11